Thành phố Từ Sơn là một miền quê văn hiến và cách mạng, nổi danh là một vùng đất khoa bảng, hiếu học hàng dầu, là một trong số ít các làng xã có đủ cả Trạng nguyên, Bảng nhãn, Thám hoa (Tam khôi) và cũng là quê hương của tiền bối cách mạng, cố Bí thư xứ ủy Nam Kỳ Ngô Gia Tự.

Theo các thư tịch cổ, từ thời tiền Lê đến đầu thời Lý, chùa Tam Sơn (khi đó còn gọi là chùa Ba Sơn) đã là một trong những trung tâm phật giáo của vùng Kinh Bắc và cả nước. Đây là một trong những ngôi chùa lâu đời của nền Phật giáo Việt Nam. Chùa dựng trên núi Tam Sơn. Ba ngọn núi như ỗi hạt châu nổi vọt lên giữa đồng bằng. Tên núi cũng là tên làng tên xã, thuộc huyện Tiên Sơn, Bắc Ninh. Chùa có từ trước thời Lý. Khoảng đầu thời Lý, nhà sư Lã Định Hương (mất 1050), Nghiêm Bảo Tsh (mất 1034), Phạm Minh Tâm (mất 1050) thuộc Thế hệ thứ 7, 8 thiền phái Vô Ngôn Thông từng trụ trợ giảng đạo Phật ở đây (theo sách Thiền uyển Tập Anh ngữ lục). Chùa đổ nát từ đầu thế kỷ XVII. Đến thời Lê Trung hưng có bà Cung phi Nguyễn Thị Ngọc Vĩnh hưng công trùng tu mở rộng quy mô, lại xây bậc gạch từ dưới chân núi lên chùa và dựng lâu gác chuông vào năm Quý Dậu (1693). Năm Đinh Sửu (1697) lại dựng cột đá “Chúc Thiên đài” để ghi tên những người đã góp công góp của xây dựng chùa. Các năm sau tiếp tục đúc chuông, tô tượng Những pho tượng Quan Âm nghìn mắt nghìn tay, tượng Kim Đồng, Ngọc Nữ, Quan Âm toạ sơn… và khánh đá chạm rồng, phượng, hoa lá là những di – sản quý giá của nghệ thuật điêu khắc Việt Nam, cuối thế kỷ XVII.

Theo sách “Việt sử lược” thì vào khoảng niên hiệu Ứng Thiên (955 - 1007) chùa là nơi Thiền sư Vạn Hạnh đưa Lý Công Uẩn về lánh nạn tránh sự truy đuổi của Lê Ngọa Triều. Khi nhà Lý ra đời, chùa vẫn là nơi trụ trì, hành đạo của nhiều vị tổ sư có công lớn trong việc xây dựng triều chính và nền văn hóa dân tộc dưới triều Lý[2].Tương truyền ngày xưa khi chùa còn đủ 100 gian thì ngôi chùa này là nơi hội tụ của rất nhiều các linh vật quý khác nhau, như: Rùa, Rồng, Nghê...

Năm 1063, vua Lý Thái Tôn đã cho xây dựng chùa với quy mô lớn, trở thành trung tâm đào tạo các tăng sư và là danh thắng nổi tiếng của vùng. Thời Lý, Công chúa Thuận Dương, Nguyên Phi Thần Châu và Nguyên phi Bảo Liên từng đến tu hành tại chùa. Hiện nay trong chùa vẫn còn vết tích Am Hoa Viên (vườn hoa) và các tượng thờ các công chúa, nguyên phi thời Lý.

Vào sáng mồng 1 Tết năm Đinh Mùi (tức ngày 09/2/1967), Bác Hồ đã về thăm, nói chuyện với cán bộ, nhân dân, thiếu nhi xã Tam Sơn tại cổng chùa Tam Sơn. Sau đó Người đã trồng cây đa trước cồng chùa và đến nay cây đa vẫn tỏa bóng mát, được nhân dân địa phương trân trọng, gìn giữ.

Trong cuộc kháng chiến chống Pháp, chùa Trăm Gian là nơi hội họp của các thành phần cách mạng, là nơi nuôi giấu cán bộ và trường học của con em địa phương. Năm 1972, trong trận Điện Biên Phủ trên không chùa Trăm gian đã bị máy bay Mỹ đánh phá, giặc mỹ ném bom làm nhiều công trình chùa Tam Sơn bị hư hại, tượng phật bị cháy hỏng. Vào năm 1975 và năm 2000, 2015, 2019, 2020 chính quyền và nhân dân thôn Tam Sơn cùng sư trụ trì Thích Đàm Chúc đã tôn tạo, tu bổ, khôi phục lại chùa với quy mô kiến trúc gần giống như ngôi chùa trước khi bị bom Mỹ tàn phá.

Hiện nay, trong chùa còn lưu giữ được nhiều pho tượng phật và cổ vật có giá lịch sử, nghệ thuật như: Khánh đá tạo khắc năm 1672, cây hương đá dựng năm 1679, chuông đồng đúc năm 1826, đặc biệt là tấm bia “Tam Sơn xã đăng hoa bi ký” dựng khắc năm 1902…

Chùa là một trong những di tích lịch sử cách mạng thu hút được du khách tham quan kết hợp với quần thể khu di tích Ngô Gia Tự.